home *** CD-ROM | disk | FTP | other *** search
/ The Works of John Ruskin / The Works of John Ruskin - Installation CD.iso / WorksSetup.exe / CD / BIN / LATIN_1.CPL < prev    next >
Text File  |  1995-10-02  |  12KB  |  361 lines
  1. ####################################################################
  2. #
  3. # 
  4. # File: latin_1.def
  5. #
  6. # Personal Library Software, July, 1993
  7. # Tom Donaldson
  8. # 
  9. # Function: Tokenizer definitional data for table driven tokenizer.
  10. # This file defines a basic isalnum() tokenization for the 8-bit
  11. # LATIN1 character set (upper 128 values are "European" characters).
  12. # 
  13. # The CplTabledRomanceTokenizer allows customization of tokenization by
  14. # editing rules that define the operation of the tokenizer.  Central
  15. # concept is "word continuation" rules, defining characters-kinds that 
  16. # CANNOT be split from each other.
  17. # 
  18. # History
  19. # -------
  20. #
  21. # 31aug93    tomd    Created from ctypes.def
  22. #
  23. ####################################################################
  24.  
  25.  
  26.  
  27. ####################################################################
  28. # 
  29. # Installation
  30. # ============
  31. # 
  32. # Database.def File
  33. # -----------------
  34. # 
  35. # To use the CplTabledRomanceTokenizer, you need this line in the .def
  36. # file for the database:
  37. # 
  38. # TOKENIZER = CplTabledRomanceTokenizer
  39. # 
  40. # 
  41. # Tokenizer File
  42. # --------------
  43. # 
  44. # This file, latin_1.def, is the rule file.  The tokenizer REQUIRES that
  45. # its definition file be named "tknztbld.def".  Therefore, you MUST copy
  46. # this file as "tknztbld.def".  The "tknztbld.def" file MUST be in the
  47. # "home directory" of the database using the tokenizer, or the "system"
  48. # directory for the CPL installation.
  49. # 
  50. # Note that a tknztbld.def in the database's home directory takes
  51. # precedence over a tknztbld.def in the CPL "system" directory.
  52. # 
  53. #
  54. ####################################################################
  55.  
  56.  
  57.  
  58.  
  59. ####################################################################
  60. #
  61. # Section 1: Character Class Definitions
  62. #
  63. ####################################################################
  64.  
  65. # The only rule needed for this C-type isalnum() style of tokenization
  66. # is a "letter" rule.  All characters that can take part in a token must
  67. # be classified as a "letter".  Such "letter" characters will be
  68. # unconditionally included in tokens, and "letter" characters will be
  69. # unconditionally considered inseparable.
  70.  
  71. # Name
  72. # ----
  73.   Letter
  74.  
  75.   EndRule
  76.  
  77.  
  78.  
  79.  
  80.  
  81.  
  82.  
  83. ####################################################################
  84. #
  85. # Section 2: Character Classification Map
  86. #
  87. ####################################################################
  88.  
  89. # -------    -----        -----------------------
  90. # Decimal    Class
  91. #  Value    Name        Comment
  92. # -------    -----        -----------------------
  93.  
  94. # Digits: Note that they are classified as Letter, which is the only
  95. # character class defined.
  96.    48        Letter        # Char '0'
  97.    49        Letter        # Char '1'
  98.    50        Letter        # Char '2'
  99.    51        Letter        # Char '3'
  100.    52        Letter        # Char '4'
  101.    53        Letter        # Char '5'
  102.    54        Letter        # Char '6'
  103.    55        Letter        # Char '7'
  104.    56        Letter        # Char '8'
  105.    57        Letter        # Char '9'
  106.  
  107. # Upper case letters:
  108.    65        Letter        # Char 'A'
  109.    66        Letter        # Char 'B'
  110.    67        Letter        # Char 'C'
  111.    68        Letter        # Char 'D'
  112.    69        Letter        # Char 'E'
  113.    70        Letter        # Char 'F'
  114.    71        Letter        # Char 'G'
  115.    72        Letter        # Char 'H'
  116.    73        Letter        # Char 'I'
  117.    74        Letter        # Char 'J'
  118.    75        Letter        # Char 'K'
  119.    76        Letter        # Char 'L'
  120.    77        Letter        # Char 'M'
  121.    78        Letter        # Char 'N'
  122.    79        Letter        # Char 'O'
  123.    80        Letter        # Char 'P'
  124.    81        Letter        # Char 'Q'
  125.    82        Letter        # Char 'R'
  126.    83        Letter        # Char 'S'
  127.    84        Letter        # Char 'T'
  128.    85        Letter        # Char 'U'
  129.    86        Letter        # Char 'V'
  130.    87        Letter        # Char 'W'
  131.    88        Letter        # Char 'X'
  132.    89        Letter        # Char 'Y'
  133.    90        Letter        # Char 'Z'
  134.  
  135. # Lower case letters:
  136.    97        Letter        # Char 'a'
  137.    98        Letter        # Char 'b'
  138.    99        Letter        # Char 'c'
  139.    100        Letter        # Char 'd'
  140.    101        Letter        # Char 'e'
  141.    102        Letter        # Char 'f'
  142.    103        Letter        # Char 'g'
  143.    104        Letter        # Char 'h'
  144.    105        Letter        # Char 'i'
  145.    106        Letter        # Char 'j'
  146.    107        Letter        # Char 'k'
  147.    108        Letter        # Char 'l'
  148.    109        Letter        # Char 'm'
  149.    110        Letter        # Char 'n'
  150.    111        Letter        # Char 'o'
  151.    112        Letter        # Char 'p'
  152.    113        Letter        # Char 'q'
  153.    114        Letter        # Char 'r'
  154.    115        Letter        # Char 's'
  155.    116        Letter        # Char 't'
  156.    117        Letter        # Char 'u'
  157.    118        Letter        # Char 'v'
  158.    119        Letter        # Char 'w'
  159.    120        Letter        # Char 'x'
  160.    121        Letter        # Char 'y'
  161.    122        Letter        # Char 'z'
  162.  
  163. # LATIN1 characters.
  164. #
  165. # Comment column is the Unicode name for the character.
  166. #
  167. # RemovedC1 control codes.
  168. #
  169. # Begin Latin-1 non-breaking space character -- is a letter
  170.   160        Letter        # NON-BREAKING SPACE
  171. # Uppercase letters
  172.   192        Letter        # LATIN CAPITAL LETTER A GRAVE
  173.   193        Letter        # LATIN CAPITAL LETTER A ACUTE
  174.   194        Letter        # LATIN CAPITAL LETTER A CIRCUMFLEX
  175.   195        Letter        # LATIN CAPITAL LETTER A TILDE
  176.   196        Letter        # LATIN CAPITAL LETTER A DIAERESIS
  177.   197        Letter        # LATIN CAPITAL LETTER A RING
  178.   198        Letter        # LATIN CAPITAL LETTER A E
  179.   199        Letter        # LATIN CAPITAL LETTER C CEDILLA
  180.   200        Letter        # LATIN CAPITAL LETTER E GRAVE
  181.   201        Letter        # LATIN CAPITAL LETTER E ACUTE
  182.   202        Letter        # LATIN CAPITAL LETTER E CIRCUMFLEX
  183.   203        Letter        # LATIN CAPITAL LETTER E DIAERESIS
  184.   204        Letter        # LATIN CAPITAL LETTER I GRAVE
  185.   205        Letter        # LATIN CAPITAL LETTER I ACUTE
  186.   206        Letter        # LATIN CAPITAL LETTER I CIRCUMFLEX
  187.   207        Letter        # LATIN CAPITAL LETTER I DIAERESIS
  188.   208        Letter        # LATIN CAPITAL LETTER ETH
  189.   209        Letter        # LATIN CAPITAL LETTER N TILDE
  190.   210        Letter        # LATIN CAPITAL LETTER O GRAVE
  191.   211        Letter        # LATIN CAPITAL LETTER O ACUTE
  192.   212        Letter        # LATIN CAPITAL LETTER O CIRCUMFLEX
  193.   213        Letter        # LATIN CAPITAL LETTER O TILDE
  194.   214        Letter        # LATIN CAPITAL LETTER O DIAERESIS
  195. # Removed multiplication sign
  196.   216        Letter        # LATIN CAPITAL LETTER O SLASH
  197.   217        Letter        # LATIN CAPITAL LETTER U GRAVE
  198.   218        Letter        # LATIN CAPITAL LETTER U ACUTE
  199.   219        Letter        # LATIN CAPITAL LETTER U CIRCUMFLEX
  200.   220        Letter        # LATIN CAPITAL LETTER U DIAERESIS
  201.   221        Letter        # LATIN CAPITAL LETTER Y ACUTE
  202.   222        Letter        # LATIN CAPITAL LETTER THORN
  203.  
  204. # Lowercase letters
  205.   223        Letter        # LATIN SMALL LETTER SHARP S
  206.   224        Letter        # LATIN SMALL LETTER A GRAVE
  207.   225        Letter        # LATIN SMALL LETTER A ACUTE
  208.   226        Letter        # LATIN SMALL LETTER A CIRCUMFLEX
  209.   227        Letter        # LATIN SMALL LETTER A TILDE
  210.   228        Letter        # LATIN SMALL LETTER A DIAERESIS
  211.   229        Letter        # LATIN SMALL LETTER A RING
  212.   230        Letter        # LATIN SMALL LETTER A E
  213.   231        Letter        # LATIN SMALL LETTER C CEDILLA
  214.   232        Letter        # LATIN SMALL LETTER E GRAVE
  215.   233        Letter        # LATIN SMALL LETTER E ACUTE
  216.   234        Letter        # LATIN SMALL LETTER E CIRCUMFLEX
  217.   235        Letter        # LATIN SMALL LETTER E DIAERESIS
  218.   236        Letter        # LATIN SMALL LETTER I GRAVE
  219.   237        Letter        # LATIN SMALL LETTER I ACUTE
  220.   238        Letter        # LATIN SMALL LETTER I CIRCUMFLEX
  221.   239        Letter        # LATIN SMALL LETTER I DIAERESIS
  222.   240        Letter        # LATIN SMALL LETTER ETH
  223.   241        Letter        # LATIN SMALL LETTER N TILDE
  224.   242        Letter        # LATIN SMALL LETTER O GRAVE
  225.   243        Letter        # LATIN SMALL LETTER O ACUTE
  226.   244        Letter        # LATIN SMALL LETTER O CIRCUMFLEX
  227.   245        Letter        # LATIN SMALL LETTER O TILDE
  228.   246        Letter        # LATIN SMALL LETTER O DIAERESIS
  229. # Removed division sign
  230.   248        Letter        # LATIN SMALL LETTER O SLASH
  231.   249        Letter        # LATIN SMALL LETTER U GRAVE
  232.   250        Letter        # LATIN SMALL LETTER U ACUTE
  233.   251        Letter        # LATIN SMALL LETTER U CIRCUMFLEX
  234.   252        Letter        # LATIN SMALL LETTER U DIAERESIS
  235.   253        Letter        # LATIN SMALL LETTER Y ACUTE
  236.   254        Letter        # LATIN SMALL LETTER THORN
  237.   255        Letter        # LATIN SMALL LETTER Y DIAERESIS
  238. # ---        -----        -----------------------
  239.    -1        EndOfDefs    # Not loaded.  Just marks end of map definition.
  240. # ---        -----        -----------------------
  241.  
  242.  
  243.    
  244.  
  245.  
  246.  
  247.  
  248. ####################################################################
  249. #
  250. # Section 3: Word Continuation Rules
  251. #
  252. ####################################################################
  253.  
  254. # There is only one rule.  Letter characters cannot be separated from
  255. # each other, ever, and only Letter characters can be in tokens.
  256.  
  257. Letter    *
  258.  
  259. EndRule
  260.  
  261.  
  262.  
  263.  
  264.  
  265.  
  266.  
  267.  
  268. ####################################################################
  269. #
  270. # Section 4: Canonization Map
  271. #
  272. ####################################################################
  273.  
  274. # -------    -------        -----------
  275. #  Input    Output
  276. # Decimal    Decimal
  277. #  Char         Char
  278. #  Value     Value        Comment
  279. # -------    -------        -----------
  280. #
  281. # Map the characters a-z to the "canonical" characters A-Z.  That is,
  282. # all letters will be upper cased.
  283.    97        65        # Char 'a' canonizes to 'A'
  284.    98        66        # Char 'b' canonizes to 'B'
  285.    99        67        # Char 'c' canonizes to 'C'
  286.   100        68        # Char 'd' canonizes to 'D'
  287.   101        69        # Char 'e' canonizes to 'E'
  288.   102        70        # Char 'f' canonizes to 'F'
  289.   103        71        # Char 'g' canonizes to 'G'
  290.   104        72        # Char 'h' canonizes to 'H'
  291.   105        73        # Char 'i' canonizes to 'I'
  292.   106        74        # Char 'j' canonizes to 'J'
  293.   107        75        # Char 'k' canonizes to 'K'
  294.   108        76        # Char 'l' canonizes to 'L'
  295.   109        77        # Char 'm' canonizes to 'M'
  296.   110        78        # Char 'n' canonizes to 'N'
  297.   111        79        # Char 'o' canonizes to 'O'
  298.   112        80        # Char 'p' canonizes to 'P'
  299.   113        81        # Char 'q' canonizes to 'Q'
  300.   114        82        # Char 'r' canonizes to 'R'
  301.   115        83        # Char 's' canonizes to 'S'
  302.   116        84        # Char 't' canonizes to 'T'
  303.   117        85        # Char 'u' canonizes to 'U'
  304.   118        86        # Char 'v' canonizes to 'V'
  305.   119        87        # Char 'w' canonizes to 'W'
  306.   120        88        # Char 'x' canonizes to 'X'
  307.   121        89        # Char 'y' canonizes to 'Y'
  308.   122        90        # Char 'z' canonizes to 'Z'
  309.  
  310. # How to canonize this one?
  311. #  223        223        # LATIN SMALL LETTER SHARP S --> canonize to what???
  312.                 # Correct German uppercase is "SS".
  313.                 # We must stick with 8-bits for now,
  314.                 # so cannot do the "correct" thing.
  315.  
  316.   224        192        # LATIN SMALL LETTER A GRAVE --> LATIN CAPITAL LETTER A GRAVE
  317.   225        193        # LATIN SMALL LETTER A ACUTE --> LATIN CAPITAL LETTER A ACUTE
  318.   226        194        # LATIN SMALL LETTER A CIRCUMFLEX --> LATIN CAPITAL LETTER A CIRCUMFLEX
  319.   227        195        # LATIN SMALL LETTER A TILDE --> LATIN CAPITAL LETTER A TILDE
  320.   228        196        # LATIN SMALL LETTER A DIAERESIS --> LATIN CAPITAL LETTER A DIAERESIS
  321.   229        197        # LATIN SMALL LETTER A RING --> LATIN CAPITAL LETTER A RING
  322.   230        198        # LATIN SMALL LETTER A E --> LATIN CAPITAL LETTER A E
  323.   231        199        # LATIN SMALL LETTER C CEDILLA --> LATIN CAPITAL LETTER C CEDILLA
  324.   232        200        # LATIN SMALL LETTER E GRAVE --> LATIN CAPITAL LETTER E GRAVE
  325.   233        201        # LATIN SMALL LETTER E ACUTE --> LATIN CAPITAL LETTER E ACUTE
  326.   234        202        # LATIN SMALL LETTER E CIRCUMFLEX --> LATIN CAPITAL LETTER E CIRCUMFLEX
  327.   235        203        # LATIN SMALL LETTER E DIAERESIS --> LATIN CAPITAL LETTER E DIAERESIS
  328.   236        204        # LATIN SMALL LETTER I GRAVE --> LATIN CAPITAL LETTER I GRAVE
  329.   237        205        # LATIN SMALL LETTER I ACUTE --> LATIN CAPITAL LETTER I ACUTE
  330.   238        206        # LATIN SMALL LETTER I CIRCUMFLEX --> LATIN CAPITAL LETTER I CIRCUMFLEX
  331.   239        207        # LATIN SMALL LETTER I DIAERESIS --> LATIN CAPITAL LETTER I DIAERESIS
  332.   240        208        # LATIN SMALL LETTER ETH --> LATIN CAPITAL LETTER ETH
  333.   241        209        # LATIN SMALL LETTER N TILDE --> LATIN CAPITAL LETTER N TILDE
  334.   242        210        # LATIN SMALL LETTER O GRAVE --> LATIN CAPITAL LETTER O GRAVE
  335.   243        211        # LATIN SMALL LETTER O ACUTE --> LATIN CAPITAL LETTER O ACUTE
  336.   244        212        # LATIN SMALL LETTER O CIRCUMFLEX --> LATIN CAPITAL LETTER O CIRCUMFLEX
  337.   245        213        # LATIN SMALL LETTER O TILDE --> LATIN CAPITAL LETTER O TILDE
  338.   246        214        # LATIN SMALL LETTER O DIAERESIS --> LATIN CAPITAL LETTER O DIAERESIS
  339.   248        216        # LATIN SMALL LETTER O SLASH --> LATIN CAPITAL LETTER O SLASH
  340.   249        217        # LATIN SMALL LETTER U GRAVE --> LATIN CAPITAL LETTER U GRAVE
  341.   250        218        # LATIN SMALL LETTER U ACUTE --> LATIN CAPITAL LETTER U ACUTE
  342.   251        219        # LATIN SMALL LETTER U CIRCUMFLEX --> LATIN CAPITAL LETTER U CIRCUMFLEX
  343.   252        220        # LATIN SMALL LETTER U DIAERESIS --> LATIN CAPITAL LETTER U DIAERESIS
  344.   253        221        # LATIN SMALL LETTER Y ACUTE --> LATIN CAPITAL LETTER Y ACUTE
  345.   254        222        # LATIN SMALL LETTER THORN --> LATIN CAPITAL LETTER THORN
  346.  
  347. # How to canonize this one?
  348. #  255        255        # LATIN SMALL LETTER Y DIAERESIS --> canonize to what?????
  349.  
  350. # ---        -----        -----------------------
  351.    -1        -1        # Not loaded.  Just marks end of map definition.
  352. # ---        -----        -----------------------
  353.  
  354. ####################################################################
  355. #
  356. # 
  357. # End Of File: latin_1.def
  358. #
  359. # 
  360. ####################################################################
  361.